Navigeerimine kaasahaaravas maastikus: WebXR sisendallika klassifitseerimine ja kontrolleri tüübi tuvastamine

Laiendatud reaalsuse (XR) valdkond, mis hõlmab virtuaalreaalsust (VR) ja liitreaalsust (AR), areneb kiiresti. Kuna arendajad püüavad luua intuitiivsemaid ja kaasahaaravamaid kogemusi, muutub kasutaja sisendi mõistmine ja tõhus haldamine ülimalt oluliseks. WebXR, standard XR-sisu edastamiseks otse veebibrauserite kaudu, pakub selleks võimsaid tööriistu. Tugevate WebXR-rakenduste loomise kriitiline aspekt on võime klassifitseerida sisendallikaid ja tuvastada kontrollerite tüüpe. See võimaldab kohandatud interaktsioone, paremat ligipääsetavust ja ühtlasemat kasutajakogemust laia riistvaravaliku puhul.

Sisendallika klassifitseerimise tähtsus

Kaasahaaravas keskkonnas vahendatakse kasutaja interaktsiooni erinevate sisendseadmete kaudu. Need võivad ulatuda lihtsast pilgupõhisest valikust kuni keerukate jälgitavate kontrollerite, käeliigutuste või isegi kehaliigutusteni. Et WebXR-rakendus reageeriks asjakohaselt ja loomulikult, peab see mõistma, millist tüüpi sisendit pakutakse. Siin tulebki mängu sisendallika klassifitseerimine.

Miks on see klassifikatsioon globaalsele publikule nii oluline?

• Riistvara mitmekesisus: XR turg on üle ujutatud arvukate tootjate seadmetega erinevates hinnaklassides ja vormifaktorites. Globaalne rakendus peab selle heterogeensusega elegantselt toime tulema. Näiteks VR-kogemus, mis on loodud tipptasemel PC VR-peakomplektidele nagu Valve Index, omab erinevaid sisendivõimalusi kui see, mis on suunatud eraldiseisvale mobiilsele VR-peakomplektile nagu Meta Quest, või AR-seadmele nagu Magic Leap või nutitelefonile, mis kasutab ARKit/ARCore'i.
• Kasutaja ootused: Kasutajad eeldavad, et nende valitud XR-seade käitub rakenduses etteaimatavalt. Kui nupuvajutus nende kontrolleril ei soorita oodatud toimingut sisendi valesti tõlgendamise tõttu, tekitab see frustratsiooni ja võib nad kiiresti kogemusest eemaldada.
• Ligipääsetavus: Erinevad sisestusmeetodid vastavad erinevatele kasutajate vajadustele ja võimetele. Sisendite klassifitseerimine võimaldab arendajatel pakkuda alternatiivseid interaktsioonimeetodeid, tagades, et rohkem inimesi pääseb ligi nende kaasahaaravale sisule ja saab seda nautida. Näiteks piiratud käeliikumisega kasutajad võivad rohkem toetuda pilgu- või häälsisendile.
• Jõudluse optimeerimine: Sisendallika võimekuse teadmine võib aidata optimeerimisstrateegiate väljatöötamisel. Näiteks võib keeruline käejälgimine nõuda rohkem protsessori võimsust kui lihtne mängupult.
• Platvormi järjepidevus: Kuigi WebXR eesmärk on ühtne API, võivad aluseks olevad riistvara implementatsioonid erineda. Tugev klassifikatsioon aitab neid lünki ületada ja säilitada teatud määral järjepidevust.

WebXR sisendallikate mõistmine

WebXR Device API pakub mehhanisme ühendatud sisendseadmete kohta teabe saamiseks. Peamine viis nendega suhtlemiseks on XRInputSource objekti kaudu, mis esindab ühte XR-sessiooniga ühendatud sisendallikat. XRInputSource objekt pakub teavet järgmise kohta:

• Sihtkiir (Target Ray): Suund, kuhu sisendallikas osutab.
• Haare (Grip): Sisendallika asend ruumis, mis sageli esindab kohta, kus virtuaalne käsi hoiaks kontrollerit.
• Profiilid (Profiles): String või stringide massiiv, mis kirjeldab sisendallika võimekust ja oodatavat käitumist.
• Käelisus (Handedness): Kas sisendallikas on mõeldud vasakule või paremale käele.
• Funktsioonid (Features): Spetsiifilised saadaolevad sisendifunktsioonid, nagu nupud, pöidlakangid või puuteplaadid.

XRInputSource.profiles omadus: klassifitseerimise võti

profiles omadus on vaieldamatult kõige võimsam tööriist sisendallikate klassifitseerimiseks. See on stringide massiiv, mida tootjad kasutavad sisendseadme tüübi ja võimekuse näitamiseks. Need profiilid on standardiseeritud Khronos Groupi Extensible XR Input Profile spetsifikatsiooniga, mille eesmärk on pakkuda ühist keelt XR sisendseadmete kirjeldamiseks.

Levinud profiilide näited:

• 'generic-hand': Näitab üldotstarbelist käejälgimise sisendallikat.
• 'google-daydream-controller': Spetsiifiliselt Google Daydreami kontrollerile.
• 'htc-vive-controller': HTC Vive'i kontrolleritele.
• 'oculus-touch-controller': Oculuse (nüüd Meta) Touch-kontrolleritele.
• 'microsoft-mixed-reality-controller': Windows Mixed Reality kontrolleritele.
• 'microsoft-edge-motion-controller': Microsoft Edge'iga seotud liikumiskontrolleritele.
• 'vive-tracker': HTC Vive Trackeritele.
• 'keyboard': Esindab klaviatuuri sisendit.
• 'mouse': Esindab hiire sisendit.

Neid profiilistringe kontrollides saavad arendajad määrata kontrolleri tüübi ja kohandada vastavalt oma rakenduse loogikat.

Kontrolleri tüüpide tuvastamine: praktilised lähenemisviisid

Kontrolleri tüübi tuvastamise tuum seisneb aktiivse XR-sessiooni ühendatud XRInputSource objektide läbikäimises ja nende profiles omaduse uurimises.

Samm-sammuline tuvastusloogika

1. Hankige XR-sessioon: Kõigepealt on teil vaja aktiivset XRSession'i. See saadakse tavaliselt pärast seda, kui kasutaja on taotlenud XR-sessiooni ja see on edukalt käivitatud.

               
       navigator.xr.requestSession('immersive-vr').then(session => {
           // Sessioon on alanud, nüüd pääseme ligi sisendallikatele
           session.addEventListener('inputsourceschange', handleInputSourcesChange);
           handleInputSourcesChange({ session }); // Esmane kontroll
       });
       
               
   
                 
                   Copy
                 
               
             

2. Juurdepääs sisendallikatele: Omadus session.inputSources pakub massiivi kõikidest ühendatud XRInputSource objektidest.

               
       function handleInputSourcesChange(event) {
           const session = event.session;
           const inputSources = session.inputSources;
   
           inputSources.forEach(inputSource => {
               // Klassifitseeri iga sisendallikas siin
               classifyInputSource(inputSource);
           });
       }
       
               
   
                 
                   Copy
                 
               
             

3. Käige läbi ja klassifitseerige: Oma klassifitseerimisfunktsioonis käige tsükliga läbi iga XRInputSource'i profiles massiiv.

               
       function classifyInputSource(inputSource) {
           console.log('Input Source Profiles:', inputSource.profiles);
   
           if (inputSource.profiles.includes('oculus-touch-controller')) {
               console.log('Detected Oculus Touch Controller!');
               // Rakenda Oculus Touchi spetsiifilist loogikat
               handleOculusTouch(inputSource);
           } else if (inputSource.profiles.includes('htc-vive-controller')) {
               console.log('Detected HTC Vive Controller!');
               // Rakenda HTC Vive'i spetsiifilist loogikat
               handleViveController(inputSource);
           } else if (inputSource.profiles.includes('generic-hand')) {
               console.log('Detected Hand Tracking!');
               // Rakenda käejälgimise spetsiifilist loogikat
               handleHandTracking(inputSource);
           } else if (inputSource.profiles.includes('mouse') || inputSource.profiles.includes('keyboard')) {
               console.log('Detected 2D Input (Mouse/Keyboard)');
               // Rakenda 2D sisendi loogikat
               handle2DInput(inputSource);
           }
           // Lisa rohkem else if tingimusi teiste profiilide jaoks
       }
       
               
   
                 
                   Copy
                 
               
             

4. Käsitlege sisendsündmusi: Kui olete kontrolleri tüübi tuvastanud, saate kuulata konkreetseid sisendsündmusi (nt nupuvajutused, pöidlakangi liikumised) ja kaardistada need oma rakenduse toimingutega. XRSession'i input sündmus on hea koht alustamiseks, kuid spetsiifilised kontrollerid võivad omada oma sündmuste kuulajaid või nõuda küsitlemist (polling).

               
       session.addEventListener('selectstart', (event) => {
           if (event.inputSource.profiles.includes('oculus-touch-controller')) {
               console.log('Oculus Touch Trigger Pressed!');
               // Käivita spetsiifiline tegevus Oculus Touchi jaoks
           }
       });
       
               
   
                 
                   Copy
                 
               
             

Puuduvate või üldiste profiilide käsitlemine

Kõik XR-seadmed ei pruugi paljastada väga spetsiifilisi profiile. Sellistel juhtudel võite kohata üldisemaid profiile nagu 'generic-xr-controller' või isegi profiilide puudumist. Siin on varustrateegiad hädavajalikud:

• Varuvariant Gamepad API-le: Kui XRInputSource paljastab gamepad omaduse, saate kasutada standardset Gamepad API-t. See pakub universaalsemat viisi nupuvajutustele ja teljeväärtustele juurdepääsemiseks, isegi kui täpset kontrolleri mudelit profiiliga selgesõnaliselt ei tuvastata. WebXR API sisuliselt ühendab Gamepad API XR-kontekstide jaoks.
• Vaikimisi interaktsioonid: Täiesti tundmatute sisendallikate või spetsiaalsete kontrolleriteta seadmete (nagu lihtsad VR-vaaturid) puhul peate võib-olla rakendama vaikimisi interaktsioone. See võib olla pilgupõhine valik, lihtne nupp peakomplektil või isegi kasutajalt ühilduva mängupuldi ühendamise nõudmine.
• Kasutajale suunatud viibad: Kahemõttelistes olukordades on sageli kõige parem kasutajalt küsida. Näiteks kui tuvastatakse üldine kontroller, võite küsida: "Kas see on liikumiskontroller või mängupult?" See annab kasutajale võimaluse suunata rakenduse sisendi kaardistamist.

Täpsem klassifitseerimine ja kaalutlused

Kuigi profiilistringid on peamine mehhanism, on tervikliku WebXR sisendstrateegia jaoks kaaluda ka teisi tegureid:

1. Käejälgimine vs. kontrolleri jälgimine

Käejälgimise (nt 'generic-hand') ja füüsilise kontrolleri jälgimise eristamine on ülioluline. Käejälgimine pakub loomulikumat, kontrollerivaba interaktsiooni, kuid selle täpsus ja jälgimise usaldusväärsus võivad varieeruda. Kontrolleri jälgimine, kuigi vähem loomulik, pakub sageli täpsemat ja järjepidevamat sisendit peenmotoorikat nõudvate toimingute jaoks.

Näide: VR-rakenduses, mis võimaldab kasutajatel joonistada, sooviksite kasutada käejälgimist vabakäeliste joonistusžestide jaoks. Kuid täpseks objektidega manipuleerimiseks või nuppude aktiveerimiseks võib eelistada kontrollerit. Teie klassifitseerimisloogika peaks võimaldama nende režiimide vahel vahetamist või nende kontekstipõhist kasutamist.

2. Sisendallika funktsioonid

Lisaks tüübile võib XRInputSource'i saadaolevate funktsioonide uurimine täpsustada teie klassifikatsiooni ja interaktsioonidisaini. Kuigi profiles annab kõrgetasemelise vihje, on spetsiifiliste võimekuste kontrollimine robustsem.

• Nupud: Kas sellel on päästikunupud, haaramisnupud, menüünupud?
• Teljed: Kas sellel on pöidlakangid või puuteplaadid, mis pakuvad analoogsisendit?
• Andurid: Kas sellel on haptilise tagasiside võimekus?

WebXR Input Profiles spetsifikatsioon määratleb nende funktsioonide jaoks ühise sõnavara (nt 'trigger', 'squeeze', 'thumbstick', 'touchpad', 'button'). Saate kontrollida nende funktsioonide olemasolu.

Märkus: funktsioonide otsene kontrollimine võib nõuda otsesemat suhtlust aluseks oleva XR-käitusajaga või polüfilli, kui API neid otse universaalselt mugaval viisil ei paku. Kuid profiles korreleerub sageli tugevalt saadaolevate funktsioonidega.

3. Käelisus

inputSource.handedness omadus ('left' või 'right') on ülioluline virtuaalsete käte õigeks orienteerimiseks või vasakukäeliste juhtnuppude määramiseks. See on lihtne, kuid mugava kogemuse jaoks hädavajalik.

4. Sihtkiire režiim (Target Ray Mode)

inputSource.targetRayMode omadus võib olla kas 'gaze' või 'pointing'. See ütleb teile, kuidas sisendit suunatakse:

• 'gaze': Sisend on suunatud sinna, kuhu kasutaja vaatab. See on levinud ainult peakomplektiga VR-kogemustes või teatud AR-interaktsioonide puhul.
• 'pointing': Sisend on suunatud füüsilise kontrolleri või jälgitava käega. See on kontrollerite puhul levinum režiim.

Selle mõistmine aitab määrata sobiva interaktsioonimetafoori. 'gaze' puhul võite kasutada kursorit, mis järgib kasutaja pilku. 'pointing' puhul lähtub kiir kontrollerist või käest.

5. Sisendi kaardistamise globaliseerimine

profiles pakub lähtepunkti, kuid tõeline globaalne rakendusdisain nõuab nende standardiseeritud profiilide kaardistamist kasutajakesksetele interaktsioonidele. Kaaluge järgmist:

• Nuppude kaardistamise konventsioonid: Kuigi profiilid viitavad nuputüüpidele (nt 'trigger'), võib täpne toiming (nt tulista, vali, haara) vajada konfigureerimist või järgida levinud konventsioone erinevates piirkondades või rakenduste žanrites. Näiteks paljudes lääne mängudes võib peamine tegevusnupp olla paremal kontrolleril, kuid see ei ole universaalselt tõsi.
• Keel ja ikoonid: Veenduge, et kõik juhtnuppudega seotud kasutajaliidese elemendid oleksid lokaliseeritud. Ikoonid on üldiselt universaalsemad, kuid tekstisildid tuleb tõlkida.
• Sisendi ligipääsetavuse profiilid: Kaaluge oma klassifikatsiooni laiendamist, et tuvastada sisendallikaid, mis võivad olla osa ligipääsetavuslahendustest, nagu spetsiaalsed adaptiivsed kontrollerid. Kuigi WebXR-i praegune profiilisüsteem ei pruugi iga niši ligipääsetavusseadme jaoks selgesõnaliselt sobida, on paindlik süsteem, mida saab laiendada, kasulik.

Näide: mitme kontrolleriga rakenduse loomine

Vaatleme lihtsustatud näidet WebXR-rakendusest, mis on loodud töötama nii Oculus Touchi kontrollerite kui ka käejälgimisega, kuvades erinevaid kasutajaliidese elemente või juhtnuppe vastavalt tuvastatud sisendallikale.

Stsenaarium: VR-rakendus, mis võimaldab kasutajatel suhelda 3D-objektidega. Oculus Touchi kontrollereid kasutades saavad kasutajad haarata objekte haaramisnupuga ja osutada päästikuga. Käejälgimist kasutades saavad kasutajad haarata näpistusliigutusega ja suhelda kasutajaliidese elementidega osutades.

            
let session = null;
let controllers = {}; // Sisendallikate salvestamiseks nende ID järgi

function setupXR() {
    navigator.xr.requestSession('immersive-vr').then(xrSession => {
        session = xrSession;
        session.addEventListener('inputsourceschange', handleInputSourcesChange);
        session.addEventListener('selectstart', handleSelectStart);
        session.addEventListener('squeezestart', handleSqueezeStart);
        session.addEventListener('end', () => {
            session = null;
            console.log('XR session ended.');
        });
        handleInputSourcesChange({ session: session }); // Esmane sünkroonimine
        console.log('XR session started.');
    }).catch(err => {
        console.error('Error requesting XR session:', err);
    });
}

function handleInputSourcesChange(event) {
    const inputSources = event.session.inputSources;
    
    // Eemalda vanad kontrollerid, mis pole enam ühendatud
    for (const id in controllers) {
        if (!inputSources.find(src => src.handedness === controllers[id].handedness)) {
            delete controllers[id];
            // Võimalusel uuenda kasutajaliidest, et kajastada lahtiühendatud kontrollerit
            console.log(`Controller ${id} disconnected.`);
        }
    }

    // Töötle uusi ja olemasolevaid sisendallikaid
    inputSources.forEach(inputSource => {
        controllers[inputSource.gamepad.index] = inputSource; // Kasutades mängupuldi indeksit stabiilse ID-na
        classifyInputSource(inputSource);
    });
}

function classifyInputSource(inputSource) {
    console.log('Input Source ID:', inputSource.gamepad.index, 'Profiles:', inputSource.profiles);

    if (inputSource.profiles.includes('oculus-touch-controller')) {
        console.log(`Oculus Touch Controller (${inputSource.handedness}) detected.`);
        // Määra spetsiifilised käsitlejad või olekud Oculus Touchi jaoks
        if (inputSource.handedness === 'left') {
            controllers[inputSource.gamepad.index].type = 'oculus_touch_left';
        } else {
            controllers[inputSource.gamepad.index].type = 'oculus_touch_right';
        }
    } else if (inputSource.profiles.includes('generic-hand')) {
        console.log(`Hand Tracking (${inputSource.handedness}) detected.`);
        controllers[inputSource.gamepad.index].type = 'hand_tracking';
        // Võimalusel uuenda kasutajaliidest, et näidata käejälgimise indikaatoreid
    } else {
        console.log(`Unknown controller type or generic gamepad (${inputSource.handedness}) detected.`);
        controllers[inputSource.gamepad.index].type = 'generic';
    }
}

function handleSelectStart(event) {
    const inputSource = controllers[event.inputSource.gamepad.index];
    if (!inputSource) return;

    console.log('Select Start on:', inputSource.type);

    switch(inputSource.type) {
        case 'oculus_touch_right': // Eeldades, et esmane valik on parema kontrolleri päästik
            console.log('Oculus Touch Trigger pressed. Grabbing object or activating UI.');
            // Rakenda haaramise/aktiveerimise loogika Oculus Touchi jaoks
            break;
        case 'hand_tracking':
            console.log('Hand Pinch detected. Interacting with UI.');
            // Rakenda kasutajaliidese interaktsiooni loogika käejälgimise näpistusliigutuse jaoks
            break;
        case 'generic':
            console.log('Generic controller select pressed.');
            // Varuvariant üldiste kontrollerite jaoks
            break;
    }
}

function handleSqueezeStart(event) {
    const inputSource = controllers[event.inputSource.gamepad.index];
    if (!inputSource) return;

    console.log('Squeeze Start on:', inputSource.type);

    switch(inputSource.type) {
        case 'oculus_touch_left': // Eeldades, et haare on vasaku kontrolleri pigistus
            console.log('Oculus Touch Grip pressed. Grabbing object.');
            // Rakenda haaramisloogika Oculus Touchi haarde jaoks
            break;
        case 'hand_tracking':
            console.log('Hand Grip (closed fist) detected. Grabbing object.');
            // Rakenda haaramisloogika käejälgimise suletud rusika jaoks
            break;
        case 'generic':
            console.log('Generic controller squeeze pressed.');
            // Varuvariant üldiste kontrollerite jaoks
            break;
    }
}

// Kutsu setupXR() välja, kui sinu rakendus on valmis XR-sessiooni alustama.
// Näiteks nupuvajutusel:
// document.getElementById('enter-vr-button').addEventListener('click', setupXR);

// Peaksid käsitlema ka sisendi vabastamise sündmusi (selectend, squeezeend) 
// ja potentsiaalselt muid sisendsündmusi nagu pöidlakangi/puuteplaadi liikumine.

            

              
                Copy
              
            
          

Väljakutsed ja tulevikusuunad

Hoolimata edusammudest on endiselt väljakutseid:

• Profiilide standardiseerimine: Kuigi see paraneb, kasvab standardiseeritud profiilide nimekiri endiselt ja tootjad võivad rakendada kohandatud või vähem kirjeldavaid profiile.
• Seadme emuleerimine: Laia seadmevaliku testimine on keeruline. Emulaatorid võivad aidata, kuid ei jäljenda täiuslikult reaalse riistvara jõudlust ja interaktsiooninüansse.
• Kasutaja kavatsuste ennustamine: Isegi täpse klassifikatsiooniga võib kasutaja täpse kavatsuse järeldamine olla keeruline, eriti arvestades saadaolevate sisestusmeetodite mitmekesisust.
• Platvormideülesed nüansid: WebXR eesmärk on platvormideülene ühilduvus, kuid erinevused renderdustorudes, jälgimistäpsuses ja saadaolevates andurites platvormide vahel (nt WebXR mobiilsel AR-l vs PC VR-l) võivad siiski põhjustada erinevaid kogemusi.

Tulevikus näeme tõenäoliselt veelgi keerukamaid sisestusmeetodeid, sealhulgas täiustatud haptikat, silmajälgimist ja kogu keha jälgimist, mis on integreeritud WebXR-kogemustesse. WebXR Input Profile spetsifikatsioon areneb edasi, et kohaneda nende uute paradigmadega.

Praktilised nõuanded arendajatele

Et luua tõhusaid WebXR-rakendusi, mis on suunatud globaalsele publikule:

• Eelistage profiilide kontrollimist: Kasutage alati inputSource.profiles'i peamise meetodina sisendseadmete tuvastamiseks.
• Rakendage varuvariante: Kujundage oma rakendus nii, et see kohaneks või toimiks graatsiliselt, kui konkreetseid profiile ei tuvastata, kasutades Gamepad API-d või üldisi interaktsioonimudeleid.
• Testige põhjalikult: Võimalusel testige oma rakendust nii paljudel erinevatel XR-seadmetel kui võimalik, erinevatel platvormidel ja vormifaktorites.
• Kujundage paindlikult: Looge sisendi kaardistamise süsteeme, mis on modulaarsed ja mida saab hõlpsasti laiendada uute seadmete või kasutaja konfigureeritavate juhtnuppude toetamiseks.
• Kasutaja tagasiside on võtmetähtsusega: Pakkuge kasutajatele selgeid visuaalseid vihjeid selle kohta, millist sisendit tuvastatakse ja kuidas seda kaardistatakse. Võimaldage vajadusel kasutaja kohandamist.
• Kaaluge ligipääsetavust algusest peale: Mõelge, kuidas erinevad sisestusmeetodid saavad teenindada erinevate võimetega kasutajaid.
• Hoidke end kursis: Olge kursis WebXR API ja Input Profiles spetsifikatsiooni muudatuste ja täiendustega.

Kokkuvõte

WebXR sisendallika klassifitseerimise ja kontrolleri tüübi tuvastamise valdamine ei ole pelgalt tehniline detail; see on fundamentaalne kaasavate, intuitiivsete ja nauditavate kaasahaaravate kogemuste loomisel ülemaailmsele publikule. Hoolikalt analüüsides sisendprofiile, rakendades tugevaid varumehhanisme ja kujundades paindlikkust silmas pidades, saavad arendajad tagada, et nende WebXR-rakendused pakuvad sujuvat ja kaasahaaravat teekonda igale kasutajale, olenemata riistvarast, millega nad metaversumit avastavad.